"benchmark realita jsou dvě odličšné věci­"

Jenže ten benchmark měří výsledky v realitě ­(reálně používaných AI­/ML algoritmech­).

"Ten, kdo chce AI provozovat, tak se očekává, že má ohledně akcelerátorů přehled.­"

No a ten přehled se získává např. na základě výsledků v MLPerf.

S tím si dovolím nesouhlasit.

Pokud uděláme příměr ke grafickým kartám, určeným pro hraní her, tak si ji jistě také nevybíráte podle toho, která dostala nejvíce bodů v 3DMarku, nebo snad ano? Ono totiž jakési skóre v syntetickém testu benchmarku je vždy sice hezký údaj, ale často zavádějící a nevypovídající o tom, jak se bude reálně chovat v konkrétní situaci.

Navíc samotný výkon není jediný aspekt, který je třeba zohlednit. Také je tu spolehlivost, cena, cena za výkon, funkce, možnosti uživatelské volnosti ­(rozuměj, kolik si toho může uživatel sám nastavit a do jaké míry­) a s tím spojený doprovodný software. Dále délka a rozsah technické podpory, četnost aktualizací atd.

A nakonec tu máme alternativy v podobě konkurence. MLPref není jediný benchmark. A AMD se mohlo třeba rozhodnout preferovat DAWNBench, AI Benchmark, Deep500, nebo jiný. Nevím to, jen zmiňuji jako možnost. Může také využít vlastní metodiky a AMD se například může domnívat, že kód MLPref by mohl znevýhodnit jejich akcelerátory, protože jsou třeba lépe optimalizované pro konkurenční systémy.

Osobně bych v odmítnutí neviděl vůbec problém a sám bych si na základě testů v benchmarku nepořídil nic. Pouze by to mohl být jeden z několika srovnávacích aspektů, které by mohly přispět k lepšímu výběru, ale určitě ne pouze z něj.

"tak si ji jistě také nevybíráte podle toho, která dostala nejvíce bodů v 3DMarku, nebo snad ano?­"

Jenže 3DMark je v podstatě jedno nebo více umělých čísel. MLPerf prezentuje výsledky v reálných modelech, které na tom pravděpodobně poběží. Je to výrazně odlišný typ benchmarku.

"Ono totiž jakési skóre v syntetickém testu benchmarku je vždy sice hezký údaj, ale často zavádějící a nevypovídající o tom, jak se bude reálně chovat v konkrétní situaci.­"

A to je právě ono. To se týká syntetických benchmarků a v tom s Vámi naprosto souhlasím. MLPerf ale není syntetický benchmark. Ukazuje výsledky v těch modelech, které na tom většinou poběží. To není nějaké syntetické číslo, ale třeba výsledek v Llama2­-70B. Tedy číslo velmi praktické.

"Navíc samotný výkon není jediný aspekt, který je třeba zohlednit. ­"

To také nikdo netvrdí a ani to není úlohou benchmarku.

"A nakonec tu máme alternativy v podobě konkurence. ­"

Ano, to máme.

"Osobně bych v odmítnutí neviděl vůbec problém a sám bych si na základě testů v benchmarku nepořídil nic.­"

Tak já v něm problém také nevidím. Jen se dívejme na MLPerf jako na to, co to je, a ne to, co to není. Je to prostě uznávaný typ benchmarku, který testuje akcelerátory na modelech, které se reálně používají, neprodukuje syntetické výsledky, ale produkuje výsledky, které se týkají reálného nasazení a v dané oblasti se standardně považují za vypovídající a věrohodné.

Nie som si istý, či dosť dobre rozumiem vašim argumentom.
Za prvé, píšete o nejakých syntetických a praktických testoch. Ak je jeden konkrétny test praktický a množstvo konkrétnych testov zhrnutých do jedného výsledku syntetický, tak OK. Ale aj ten syntetický predsa používa praktické testy ­(word, excel, ...­).
Za druhé, nebol to Intel, čo si priohol ­(GeekBench?­) tak, aby mu vychádzali výsledky lepšie?
Aký je problém, aby test MLPerf bol naprogramovaný tak, aby zvýhodnil jeden akcelerátor? Veď stačí, aby nepoužil nejakú funkciu, ktorou efektívnejšie spracuje výpočty akcelerátor AMD a okamžite je znevýhodnený.

"Ale aj ten syntetický predsa používa praktické testy ​­(word, excel, ...​­). ­"

Může a nemusí. Tady ale není výsledkem jedno syntetické číslo, nýbrž ty dílčí výsledky v jednotlivých úlohách. Takže nedostanete souhrnný výsledek pro úlohy AI, ale třeba pro Stable Diffusion verze X.Y s daným nastavením, pro Llama2­-70B,...

"Za druhé, nebol to Intel, čo si priohol ​­(GeekBench?​­) tak, aby mu vychádzali výsledky lepšie? ­"

Právě o to jde. Když ty testy nedělá výrobce, ale nezávislá entita, která je publikuje, tak toto přiohýbání výrobcem HW eliminujete. Tomu nicméně stále zbývá cherry­-picking, který jde v této oblasti vidět u všech a všude ­(ať už jde o procesor nebo akcelerátor, u nikoho se nesetkáte, že by v prezentacích publikoval konzistentně výsledky tak, aby se to dalo rozumně srovnat ­- tu je srovnána novinka v dvou modelech s jedním CPU­/GPU, další slajd má v jiné konfiguraci CPU­/GPU najednou úplně jiné modely,...­)

"Veď stačí, aby nepoužil nejakú funkciu, ktorou efektívnejšie spracuje výpočty akcelerátor AMD a okamžite je znevýhodnený.­"

Ano, to je riziko.

A nekdo to udela levneji, tak aby byl respektovany v oboru? Tyhle posvedcene studie fakt nejsou pro umastene frajery z garaze, ktery umi kliknout a pustit benchmark

Nevim nakolik je ta firma uznavana v oboru a kdo se vysledky jejich testu ridi pri rozhodovani o nakupu. Ale hadam, ze tyhle karty se prodavaji ve velkem firmam, ktere vedi, co potrebuji, a umeji si otestovat pouzitelnost proo jejich aplikace sami. A pri vysoke poptavce a omezene vyrobe da amd asi radsi vzorky partnerum, ze kterych kouka vetsi prodej, nez testerum.

Taky jo otazka, co znamena ­"two boxes­". Tyhle karty se asi neprodavaji v maloobchodnim baleni, tak to nemusi znamenat dve karty. Navic to nejsou karty, ktere se strkaji po jedne do PC, ale provozuji se v serverech osazenych nekolika kartami a vykon karet bude asi zaviset i na konfiguraci serveru. Slovo box tedy muze znamenat i kompletne osazeny server a pak se dostavame na o dost vyssi castky.

Já to pochopil jako několik krabic. A k té konfiguraci, budu vycházet ze dvou faktů. Sice mají rozhraní PCIe 16x 5.0, ale nejsou běžného formátu a dávají se naležato. Taky proto, že se chladí vodou stejně jako CPU. A konfigurace dle toho, jak se dělají superpočítače s MI200 řadou. 2x 64 jader EPYC a na to dva akcelerátory. Co vím, u MI300 je to velmi podobné. Trošku kopírování od AMD:

External Power Connectors 54V UBB
Typical Board Power ­(TBP­) 750W Peak

GPU Form Factor OAM Module
Bus Type PCIe® 5.0 x16

Čistě teoreticky při menším počtu a pokud nevadí větší výška řešení jednoho ­"patra­" to jde i vzuchem chadit.

A jak ty velkenfirmy vedi co potrebuji? Tim ze si to zjisti. Bud si to zjistit na vlastni triko nebo si nekoho najmou at vyhodnoti vhodnost nabikdy na trhu za ne. Muze to byt levnější i kdyz se bavime o miluonu dolaru.

Vrobci sami si dávají záležet, aby ty samotné dílčí výsledky výkonu měli přesně. A AMD jich uvádí hodně:

Peak Eight­-bit Precision ­(FP8­) Performance ­(E5M2, E4M3­) 2.61 PFLOPs
Peak Eight­-bit Precision ­(FP8­) Performance with Structured Sparsity ­(E5M2, E4M3­) 5.22 PFLOPs
Peak Half Precision ­(FP16­) Performance 1.3 PFLOPs
Peak Half Precision ­(FP16­) Performance with Structured Sparsity 2.61 PFLOPs
Peak Single Precision ­(TF32 Matrix­) Performance 653.7 TFLOPs
Peak Single Precision ­(TF32­) Performance with Structured Sparsity 1.3 PFLOPs
Peak Single Precision Matrix ­(FP32­) Performance 163.4 TFLOPs
Peak Double Precision Matrix ­(FP64­) Performance 163.4 TFLOPs
Peak Single Precision ­(FP32­) Performance 163.4 TFLOPs
Peak Double Precision ­(FP64­) Performance 81.7 TFLOPs
Peak INT8 Performance 2.6 POPs
Peak INT8 Performance with Structured Sparsity 5.22 POPs
Peak bfloat16 1.3 PFLOPs
Peak bfloat16 with Strutured Sparsity 2.61 PFLOPs

14 výkonových parametrů od 8 do 64 bitů. Do budoucna s dalšími formáty už to bude trochu nepřehledné. K tomu je důležitá rychlost a kapacita RAM 192 GB a 5,3 TB­/s. To podstatné tam je, zbytek je na programátorech.

Ne 1 mil. USD a 2ks AI akcelerátorů grátis? Ale dvě krabice nebo snad bedýnky.

Toto ení segnment, který by na to až tak hleděl. I když třeba Linpack je vyloženě multiplatformní benchmark pro až masivně multiprocesorové sestavy. A předchozí specINT a specFP taky vznikly jak multiplatformní, takže umožňovaly otestovat pracovní stanice a servery z éry RISC ­/ UNIX a možná i dřív. A mělo to vše nějaký důvod. Jenže tyto akcelerátory jsou i v kategorii drahého TOP HW vyjímečné.

Tak to nejsou novinari co casto ani netusi co delaji a odklikaji par benchmarku. Tady bude vysledkem pomerne velka studie a analyza. A jeji vysledek bude jakymsi overpvacim razitkem pro zajemce.

To možná ano. Ale toto není nezávislá firma testující HW s tím, že se na něco specializuje. Toto je autor SW pro který mají svůj benchmark. Nebo ani nemají a spíš testují přímo v plném SW.

"Toto je autor SW pro který mají svůj benchmark.­"

Jenže ten benchmark se skládá z těch algoritmů, které pak na těch počítačích budou běžet. To není jedno číslo. To máte výsledek pro různé modely, různé konfigurace,... Pokud třeba stavíte server pro běh Stable Diffusion, kde chcete vzít informaci o tom, na čem to poběží nejlépe? MLPerf neříká nic o výkonu v nějakém vlastní AI softwaru nějaké firmy. Jde o soubor výsledků v různých široce používaných AI­/ML algoritmech. Tedy je to velmi praktická sada čísel široce uznávaná v dané oblasti jako standard.

Vzhledem k tomu, že jde o trh v desítkách miliard USD, není milion zas až tak šílená částka ­(ony ani náklady na otestování nebudou úplně malé­), ačkoli se to na první pohled může zdát být hodně a také jsem si nejprve říkal ­"cože?­"

LINPACK ale přece byl taky už historicky soubor dílčích výsledků, to není nic nové. Pointa je jinde. LINPACK můžete spustit na jednom CPU i celém složitém systému. Ale nikdo na něm nevydělává, dokonce se distribuuje jako zdrojový kód a velmi dlouho byl uznávaný.

Tak MLPerf si můžete také stáhnout zdarma ­(měl by být jako open­-source dostupný na GitHubu­).

Tady se platí spíše za to, že to standardizovaně otestuje jedna entita, která ty souhrnné výsledky prezentuje, než aby do toho systému přispívaly jednotlivé firmy, které si to samy kdo ví jak rozběhají, a byl v tom stejný bordel, jako vidíme např. v Geekbenchi nebo 3DMarku, kde může výrobce dokázat ohledně výkonu téměř cokoli. Tato větší transparentnost je u trhu, kde jsou jednotlivé zakázky v milionech, desítkách milionů, stovkách milionů USD... docela podstatná.

Pokud jsou tak dobro tak samozrejme budou chtit. Tohle neni hw, ktery se prodava v krame v regalu. Tohle se resi na vyssi urovni, casto jde o strategicke nakupy firem kde to reso nejvyssi zastoupeni. A ti si nebudou poustet benchmarky, ti chteji nejaky proof uznavane autority, a pro firmy je lepsi kdyz to udela vyrobce, nez aby si to delali na vlastni naklady pres nejake konzultqcni firmy

Ta castka je v takovem businessu bezpredmetna.. milion je rocni plat 4 odborniku. Korporat jich zamestnava nekolik tisic a to je.jen jedna cast vydaju. Co je to milion? Kapka v.mori

Co je na tom hodne? Kde zijes? Kolik si kdeko rekne za neci podovneho. Firmy které testují hw na zakazku a dávají nesprávné výsledky tohle nedělají za pár dolaru. Kdyz treba nějaká firma hodlá nakoupit HW treba pro servery nebo vybavit 20 tisic lidi, tak fakt nepřijde umasteny atak ze sklepa, co na x hw pustí nějaké benchmarky.

Záda se to nějaké konstantní firmě která se tomu věnuje. Zmapuje trh, vyzkouší různý hw na míru tvému pouziti, klidně na realnem sw zadna syntetika. A na zaklade toho ti dodaji studii jak se ktery hw hodi a proc. Hw se pak nakouli s ohledem na tu studii.

Samozrejme je fajn mit renome v oboeu aby takove konzultacni firme nekod veril.

Toto ale rozhodně není HW pro tolik lidí. Přirovnal bych to k rozdílu mezi běžným a přesto Hi­-End serverem a superpočítačem nebo mainframe. A firma uvažující o ralizaci superpočítače na benchmarky nehledí. Ale skutečně jde za výrobcem, tedy ne k běžnému distributorovi, už vůbec ne přímo k AMD, ale za výrobcem superpočítačů a těch fakt moc není a s ním se poradí a dostane stroj na míru. Podobně by šli za výrobcem serverů. A speciálně u serverů stejně jako jiných IT strojů půjdou patrně k tomu, s kým mají dlouhodobou smlouvu. Ty firmy málokdy, spíš vyjímečně kupují HW napřímo.

"a s ním se poradí a dostane stroj na míru.­"

Ale kde ten výrobce vezme výsledky pro to, aby zákazníkovi poradil? Dívám se třeba na Dell a jeho servery a v čem prezentuje výsledky svých AI serverů? V MLPerf. V čem prezentuje výsledky svých AI serverů Lenovo? V MLPerf...

Vidím, že tady nikdo netuší, co to MLPerf vlastně je, tak jsem to trochu více rozvedl v článku.

Takto velcí dostávají na testy vzorky automaticky.

Neni to moje pole pusobnosti, nemam rad obrovske firmy ktere operuji v tomto segmentu ­- ale jako naprosty laik bych si predstavoval neco v tom smyslu ­- ­"halo AMD, mame potencialni zajem o vase akceleratory, muzete nasim technikum poslat vzorek, ten si otestujeme v nasem specifickem nasazeni a pokud si potvrdime predpokladane vykonove vlstnosti, vzali bychom si tri kamiony­" o.O

imho to AMD jednoduse nema za danych podminek zapotrebi.

Ano, nejak tak to je ale ti technici nejsou zadarmo, takze casto jdes za nekym kdo se na to specializuje, stejne jako vyrobci prinesou cisla nekoho uznavaneho, komu zaplatili aby to udelal. A ta firma, pokud chce zustat na trhu si nemuze vymyslet.